http://www.arocmag.com/article/02-2019-01-057.html 


基于 多 子 块 联合 估计 的 相关 滤波 跟踪 
洁 “*， 解 博 江 *， 李 ” 伟 "， 王 进 花 ， 


(兰州 理工 大 学 a 计算 机 与 通信 学 院 ; b. 电气 工程 与 信息 工程 学 院 ， 兰 州 730050) 


TE 


摘 ， 要 :针对 遮挡 情况 下 相关 滤波 算法 跟踪 精度 下 降 的 问题 ,提出 了 一 种 基于 多 子 块 联合 估计 的 核 相关 滤波 跟踪 方法 。 
首先 依据 初始 帧 跟踪 框 的 几何 特征 对 目标 自 适 应 分 块 ， 并 采用 KCF 方法 对 各 子 块 独立 跟踪 得 到 联合 置信 图 ; 然后 以 上 
帧 目标 的 位 置 及 尺度 作为 先 验 信息 对 搜索 区 域 采 样 ， 同 时 将 样本 框 中 置信 图 的 权 值 密度 作为 观测 值 ， 利 用 粒子 滤波 算 
法 实现 候选 目标 的 最 优 估计 ; 最 后 对 置信 度 较 低 的 子 块 反 向 投影 至 上 帧 图 像 进行 遮挡 检测 ， 防 止 模板 错误 更 新 。 定 性 
和 定量 实验 结果 表明 ,该 方法 与 原始 KCF 算法 相 比 跟踪 精度 提升 约 10%， 具 有 良好 的 抗 遮 挡 性 ， 并 对 目标 尺度 变化 具 
有 一 定 的 估计 能 
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Correlation filter object tracking based joint multi-blocks estimation 
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Abstract: In order to solve the problem that the poor tracking accuracy of correlation filter algorithm under occlusion condition, 


this papre proposed a kernelized correlation filter tracking method using joint multiple blocks estimation. Firstly, it divided the 


target into several blocks adaptively according to the geometric features of the initial frame tracking box, and each block using 


the KCF method for tracking independently to get a combined confidence map. Then it took the location and scale of previous 
frame target as priori information sampling the search area, meanwhile, the weight density of the confidence map in the sample 
box is used as the observation value, achieve optimal estimation the candidate target using particle filter algorithm. Finally, 
blocks with lower confidence levels back-project to previous frame for occlusion detection to prevent template update mistakenly. 
The qualitative and quantitative experiment results shows that compared with the original KCF algorithm, the tracking accuracy 
of the proposed method improves about 10% and it is robust to occlusion and scale change in some degree. 
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0 alg 是 一 种 经 典 的 判别 式 跟踪 方法 , MosseDI 使 用 最 小 二 乘 训 练 滤 波 

模板 将 相关 滤波 的 概念 首次 引入 目标 跟踪 领域 ， 极 大 地 提高 了 
视频 目标 跟踪 是 计算 机 视觉 与 模式 识别 的 热点 研究 课题 之 。 跟踪 的 实时 性 。STCI9 方 法 以 概率 论 的 方式 在 相关 滤波 算法 
一 ， 在 行为 识别 、 智 能 监控 、 智 能 交通 、 汽 车 导航 以 及 人 机 交 ”融入 空 时 文本 信息 ， 并 利用 单个 相关 响应 置信 图 实现 了 对 目标 
互 等 领域 扮演 着 十 分 重要 的 角色 叫 。 近 年 来 ， 基 于 在 线 学 习 理 ”尺度 的 有 效 估计 。CSKD 方 法 使 用 核 化 岭 回归 的 方式 训练 滤波 
论 的 判别 式 跟踪 算法 相 比 传统 的 生成 式 方法 如 MeanShiftP、 粒 器 模板 ， 增 强 了 模板 在 非 线性 情况 下 的 有 效 性 ， 通 过 构建 循环 
子 滤波 四 等 拥有 更 高 的 跟踪 精度 与 运行 速度 ， 引 起 了 研究 者 的 和 矩阵 巧妙 地 简化 模板 训练 求解 过 程 。 KCFIS 方 法 在 CSK 的 基础 
极 大 关注 。 上 ， 运 用 高 斯 核 函数 将 单 通道 相关 滤波 器 扩展 为 多 通道 ， 使 其 
判别 式 方法 将 目标 跟踪 看 成 一 个 典型 的 分 类 问题 ， 即 如 何 能 够 使 用 较为 复杂 的 特征 对 目标 进行 更 精确 的 建 模 ， 从 而 提高 
将 图 像 中 的 目标 与 背景 进行 区 分 ， 并 且 在 对 目标 建 模 时 充分 利 了 跟踪 精度 。 基 于 分 块 思想 改进 的 相关 滤波 类 跟踪 方法 ， 在 目 
用 了 目标 与 背景 信息 ， 故 具有 较 高 的 跟踪 鲁 棒 性 由。 相关 滤波 。”” 标 被 部 分 遮挡 的 情况 下 仍 能 利用 未 被 遮挡 部 分 提供 的 定位 信息 
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录用 稿 


进行 跟踪 ， 成 为 提升 跟踪 器 抗 逛 挡 能 力 的 重要 手段 之 一 ， 而 且 
相关 滤波 算法 的 高 速 处 理 能 力 为 分 块 跟踪 的 实时 性 提供 了 可 能 
外。 文献 [10] 依 据 目 标 轮廓 进行 分 块 ， 采 用 KCF 方法 对 子 块 独 
立 跟踪 ， 利 用 子 块 间 定 位 结果 的 空间 分 布 信息 确定 整体 目标 的 
位 置 及 尺度 。 文 献 [11] 在 对 子 块 进行 独立 的 CSK 跟踪 的 基础 上 ， 
以 子 块 跟踪 置信 图 的 主 旁 办 比 作为 放 挡 的 判定 依据 对 模板 进行 
更 新 。 上 述 基于 多 分 块 改进 的 跟踪 方法 仍 有 不 足 ， 首 先 未 考虑 
子 块 可 能 存在 漂移 现象 而 直接 依据 分 块 跟踪 结果 所 构成 的 空间 
几何 特性 对 目标 进行 定位 是 不 合理 的 ， 其 次 在 子 块 模板 更 新 中 
仅 将 置信 图 峰值 的 主 旁 六 比 Cpeak to sidelobe ratio, PSR) 作为 
判 据 不 能 将 外 部 遮挡 与 自身 形变 区 分 开 来 。 

由 此 本 文 在 对 目标 六 分 块 及 采用 KCF 方法 对 子 块 进 
行 独立 跟踪 的 基础 上 ， 为 解决 多 子 块 线索 融合 中 目标 定位 及 尺 
度 估计 难 问题 ， 使 用 粒子 滤波 算法 对 多 子 块 联合 置信 图 进行 采 
样 ， 并 依据 采样 框 所 包围 形成 的 权 值 密度 设 定 粒子 权重 ， 实 现 
目标 位 置 及 尺度 的 最 优 估 计 ; 为 了 防止 模板 因 廊 挡 而 错误 更 新 ， 


i 
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$m, $: 基于 多 子 块 联合 估计 的 相关 滤波 跟踪 
min X (wx, -y + Allw F (1) 
"ou 


在 跟踪 过 程 中 ,样本 集合 的 特征 空间 往往 是 线性 不 可 分 的 ， 
KCF 使 用 高 斯 核 函数 wo 将 样本 特征 映射 到 高 维 空间 中 使 其 
线性 可 分 ， 增 强 了 滤波 模板 在 非 线性 情况 下 的 适用 性 。 在 核 空 
间 中 根据 表现 定理 (representation theorem) 02], 模 板 w 可 由 所 有 
的 样本 线性 表示 : 


w= Yao) Q) 


将 其 带 入 式 〈1) 可 得 滤波 模板 的 核 化 岭 回归 训练 过 程 ; 


mi 之 0200) eG) + 4I ja poro I 6) 


定义 两 个 核 函数 点 积 OD — eG) = Geox? 并 求解 式 (3) 可 以 
得 到 模板 的 闭合 解 : 


a-(K«AD'Y (4) 
其 中 : v 是 由 元 素 v FREUE EE. 7 为 单位 矩阵 ， 天 则 为 由 


将 PSR 较 低 子 块 的 主 分 量 直 方 图 反 向 投影 至 上 帧 目标 及 背景 
区 域 ， 分 别 统计 其 像素 投影 概率 ， 以 此 对 吐 挡 情形 进行 判定 。 


1 ”分 块 策略 和 KCF 跟踪 原理 


13 自 适 应 分 块 策略 

以 固定 形式 对 图 像 进 行 分 块 操作 往往 无 法 灵活 应 对 跟踪 
标的 多 样 性 ， 而 初始 帧 目标 跟踪 框 位 置 和 大 小 一 般 由 人 为 标定 
得 来 ， 在 一 定 程度 上 能 反映 目标 的 整体 轮廓 。 由 此 可 以 根据 初 
台 帧 矩形 跟踪 框 的 几何 特征 对 不 同 目标 进行 分 块 处 理 。 当 初始 
陆 跟 踪 框 横 纵 比 大 于 设 定 阔 值 五 时 ， 将 其 在 水 平方 向 上 切割 为 
两 个 等 面积 的 子 块 ; 当 横 纵 比 小 于 阔 值 懂 时 ， 对 跟踪 框 进行 垂 
直 分 割 ; 比值 介 于 两 闽 值 间 的 跟踪 框 将 其 等 分 为 四 个 子 块 ， 如 
图 1 所 示 。 


1 
1 | 2 一 
2 

GO 水 平 二 分 块 (b) 垂直 二 分 块 


图 1 目标 分 块 示意 区 


在 对 各 子 块 进行 跟踪 时 ， 为 了 充分 利用 背景 信息 同时 减少 
潜在 的 相似 目标 干扰 ， 本 文 将 各 子 块 的 搜索 区 域 限制 为 整体 跟 
踪 框 面积 大 小 的 2 倍 ， 如 图 1 (a) 中 虚线 框 所 示 。 
1.2 KCF 跟踪 原理 

KCF 跟踪 方法 对 第 t-1 帧 图 像 块 x 进行 循环 移 位 操作 生成 
目标 在 不 同位 置 处 的 样本 集合 Hotot) ， 改 善 在 线 学 习 跟 踪 
过 程 中 训练 样本 匮乏 的 问题 。 对 目标 的 不 同位 移 样本 集 ， 可 以 
采用 岭 回 归 的 形式 在 均 方 损失 函数 结构 风险 最 小 化 的 准则 下 训 
练 求解 出 最 优 的 滤波 模板 w， 使 得 线性 分 类 模型 y>= wx 在 所 有 
的 样本 集合 中 均 方 误差 和 最 小 ， 即 


JUR k o kGs. x) 所 组 成 的 核算 阵 。 如 果 直 接 通 过 式 〈4) 求解 系 
数 a， 计算 量 较 大 。 文 献 [7] 已 证 明 由 循环 样本 集 经 核 函 数 映射 
所 组 成 的 矩阵 K 仍 为 循环 结构 ， 充 分 利用 任意 循环 矩阵 都 可 以 
被 传 里 叶 变换 矩阵 对 角 化 这 一 特殊 性 质 ， 如 式 〈5) 所 示 ， 简 化 
了 训练 求解 过 程 。 


K - CCIO = Fdiag (k)F" (5) 
其 中 : F 为 傅 里 叶 系数 矩阵 ; k ERTA k =a) 所 构成 的 向 
量 ; diasg(o 为 以 向 量 上 中 的 元 素 构成 的 对 角 阵 ; COD 表示 为 以 


ui k 构成 的 循环 矩阵 。 式 将 CSO 带 入 式 (4) ， 利 用 循环 矩 
阵 的 性 质 可 解 得 
"EE 
«c ru) i (6) 


对 式 两 端 同 时 进行 FET 变换 , 并 应 用 循环 矩阵 性 质 可 得 到 
所 训练 滤波 模板 的 闭合 解 。 


a= ET +A C) 

当 第 t 帧 图 像 到 来 后 , 以 fl 帧 图 像 中 目标 所 在 坐标 为 中 心 

提取 基本 样本 z ， 同 样 以 循环 移 位 的 方式 并 由 快速 傅 里 时 变换 

至 频 域 计算 每 个 样本 的 响应 值 ， 生 成 当前 帧 目标 所 在 位 置 的 置 

R, 其 最 大 值 处 即 为 目标 所 在 位 置 。 响 应 过 程 如 式 (8) 所 示 ， 
HP h AN h =a z) 。 

M'2f'(à h) (8) 


2 ”本文 方 法 

首先 根据 初始 帧 跟踪 框 的 几何 特征 对 目标 进行 自 适 应 分 块 ; 
然后 对 每 个 子 块 采用 KCF 方法 进行 独立 跟踪 , 生成 各 个 子 块 目 
标 位 置 的 置信 图 及 其 权重 。 在 此 基础 上 加 入 粒子 滤波 算法 对 多 


子 块 联合 置信 图 中 目标 的 位 置 及 尺度 进行 最 优 估 计 ; 融入 遮挡 
检测 模块 以 此 实现 子 块 模板 的 差异 化 更 新 。 本 文 方法 整体 框架 


如 图 2 所 示 。 


录用 稿 
Ju kc 置信 图 及 权重 | | [Zra] [BESE 
s TAAR D 及 尺度 输 
T4 — KCF2 X 置信 图 及 权重 子 滤波 估计 出 
目标 mr. | 
: : | Ly EFE 
Fin l KcFn 3 置信 图 及 权重 | | 子 块 模板 更 新 
mr | 


图 2 ”本文 方法 流程 框架 


21 多 子 块 联合 置信 图 的 粒子 滤波 估计 

以 分 块 方式 对 目标 进行 跟踪 时 ， 往 往 认为 子 块 跟踪 结果 所 
形成 几何 图 案 的 质心 即 为 目标 所 在 中 心 点 。 这 种 判定 方法 未 考 
虑 子 块 可 能 由 于 遮挡 等 原因 发 生 漂移 ,致使 目标 无 法 准确 定位 ， 
而 且 不 能 针对 目标 的 尺度 变化 进行 估计 。 本 文 从 STC 算法 的 对 
单个 相关 响应 置信 图 尺度 估计 过 程 中 受到 启发 ， 拓 展 状态 估计 
量 ， 并 采用 粒子 滤波 算法 对 多 子 块 联合 置信 图 中 目标 大 小 及 中 
心 点 坐标 进行 估计 。 

对 目标 子 块 采用 


KCF 方法 进行 独立 跟踪 可 得 各 子 块 置信 


图 Mi， 其 跟踪 结果 的 可 靠 性 根据 文献 [13] 可 由 各 子 块 置信 图 的 
PSR 评判 ， 则 各 子 块 归 一 化 权重 计算 如 式 (9) 所 示 。 其 中 :0 


为 第 j 个 子 块 置信 图 的 峰值 , 4 和 0; 为 旁 汶 的 均值 和 标准 偏差 。 
PSR pg AA 


Erse NEP. 9) 


J 


wl 


考虑 到 同一 子 块 置信 图 中 ， 权 重 应 从 最 大 峰值 处 到 周边 区 
或 随 距离 逐 级 递减 ; 并 且 由 于 目标 可 能 存在 尺度 变化 会 造成 多 


子 块 边界 范围 出 现 交错 ， 其 置信 图 也 会 发 生 层 登 ， 而 在 多 子 块 
置信 图 加 权 融 合 过 程 中 较 大 范围 的 边缘 重 县 会 给 主峰 值 带 来 干 
扰 。 为 了 缓解 这 种 边缘 效应 ， 在 多 子 块 联合 置信 图 计算 过 程 中 
加 入 了 一 个 余弦 窗 CG， 该 窗 中心 位 置 取决 于 相应 子 块 置信 图 中 
最 大 峰值 处 ， 其 范围 由 子 块 目标 大 小 决定 ， 最 终 使 得 中 心 处 获 
得 较 高 权重 而 边缘 处 像素 权重 趋 于 零 。 则 多 子 块 联合 置信 图 为 


M = Yo (10) 


粒子 滤波 跟踪 方法 首先 结合 目标 运动 仿 射 信息 建立 状态 转 
移 方程 ， 对 粒子 集 的 状态 进行 预测 与 约束 ; 然后 使 用 最 新 观测 
值 构成 的 似 然 函数 设 定 粒子 集权 重 ， 将 其 由 低 似 然 区 向 高 似 然 


移动 。 在 状态 空间 模型 中 构造 如 下 所 示 的 状态 转移 方程 和 似 然 
函数 : 

x = Ax V, (11) 

pO, |%)= qug ean (12) 

其 中 : x siny wh] Jy t A EUBRTIJ ES m AAR ELI 
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$9 od, $: 基于 多 子 块 联 AUN PANT a y 
和 

px. M'G (13) 


依据 蒙特 卡 洛 思想 和 大 数 定律 ， 目 标 真实 状态 的 后 验 概率 
PO, Ev.) 可 由 对 其 采样 的 NN 个 粒子 组 成 的 状态 集 联合 归 一 化 后 
的 权重 去 逼近 ， 即 


N " ; 
PO | Yu) ~ DAE = Xor) (14) 
i=] 


但 实际 应 用 中 , 直接 从 后 验 概率 抽取 粒子 状态 集 较为 困难 ， 
文献 [14] 使 用 次 优 建议 分 布 函数 px 10 代替 真实 后 验 概率 进 
行 重要 性 采样 ， 其 粒子 集权 重 更 新 过 程 为 
ad o aj pO | x) (15) 
则 根据 最 大 后 验 准 则 t 时 刻 目 标 状态 的 最 优 估计 为 


& - ox (16) 


(b) 多 子 块 置信 图 (ec) 目 标定 位 及 


(a) 分 块 目标 尺度 估计 
图 3 分 块 目标 跟踪 流程 
3 为 分 块 目标 定位 及 尺度 估计 过 程 。 其 中 粒子 滤波 算法 


对 多 子 块 置信 图 的 联合 估计 流程 为 : 
1) 粒子 初始 化 : 设 定 粒子 数 N, 根据 目标 状态 先 验 信息 


(s 
HT 


成 随机 采样 粒子 集 {Lat ， 其 相应 的 权 值 为 qi=12，,N ， 


HELa s= 


for t-2:T (T 为 视频 总 帧 数 ) 

20 多 子 块 置信 图 联合 : 根据 各 子 块 独立 跟踪 置信 图 Mi 及 
其 权重 ww, 结合 窗 函 数 G 由 (10) 式 生 成 联合 置信 图 M P 
余弦 窗 C; 中 子 块 目标 大 小 由 tl 帧 目标 整体 尺度 估计 结果 与 初 
始 帧 分 块 策略 确定 〉; 

3 状态 预测 : 对 一 步 状态 转移 方程 (11) 进行 重要 性 采样 ， 
得 到 t 时 刻 粒子 集 状态 的 预测 值 %; 

4) 粒子 权重 更 新 : 依据 粒子 集 的 预测 状态 , 利用 式 (16)、 


3 


〈13 ) 计算 各 粒子 包围 形成 的 置信 图 权 值 密度 Px , 并 由 式 (15) 
得 到 t 时 刻 粒子 集 所 对 应 的 权重 o; s 
5) 目标 状态 估计 : 对 @ 进行 归 一 化 处 理 并 利用 式 (16) 对 


跟踪 框 中 心 坐标 以 及 尺度 大 小 ; A 为 由 仿 射 变换 构成 的 转移 先 
阵 ; V 则 为 状态 方程 对 应 的 高 斯 噪声 协 方差 矩阵 。Px, 计算 方式 
如 式 (13) 所 示 。 其中: M'a) XE UN x 状态 所 对 应 的 跟踪 框 在 
多 子 块 联合 置信 图 中 包围 权重 的 大 小 ; $ 是 跟踪 框 所 围 像 素 的 
面积 ;Px, 为 跟踪 框 中 置信 图 权重 的 密度 


P2 


目标 的 真实 状态 进行 估计 ， 得 到 候选 目标 位 置 及 尺度 的 最 优 个 
its 
6) 


limi 
mi 


EHE: 根据 o 的 大 小 , MATIGE x HENLEN 


MRT, "EBCEGERORCT E [6A ; 


end 
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1E 


EZ 


EIN 
H AR 


人 @) 外 部 遮挡 及 其 


bÉ 


(xy)ep 


身 形变 及 其 


图 


目标 出 现 外 部 遮挡 时 ， 
区 域 的 遮挡 物 上 ， 如 


4 不 同情 形 的 反 向 投影 结果 


KU 


投影 的 前 景 像素 主要 集 


图 4 Ca) 所 示 ; 而 由 于 自身 原 


SCALE E, ROBES 


m a E 


者 果 主要 集中 在 


目标 所 在 的 


bd, dl 


录用 入 # "TI hi 人 
2.2 ”基于 遮挡 检测 的 子 块 模板 更 新 4 (b) 所 示 。 根据 第 t-1 帧 跟踪 框 位 置 , 在 反 向 投影 图 中 确定 目 
谈 挡 及 自身 形变 均 会 引起 子 块 跟踪 结果 置信 度 的 下 降 ， 而 。” 标 及 搜索 区 域 , 并 分 别 统 计 目 标 区 域 前 景 像素 个 数 4 以 及 整个 
外 部 遮挡 引起 的 目标 表 观 变化 ， 谈 挡 物 往往 来 自 于 背景 所 在 。 ”搜索 区 域 前 景 像素 个 数 和 A ， 则 子 块 q 中 像素 反 向 投影 至 目标 区 
区 域 ， 自 身 形变 则 来 自 于 目标 区 域 的 可 能 性 较 高 ， 因 此 本 文 在 。 ” 域 的 概率 为 
子 块 跟踪 结果 置信 度 较 低 的 情况 下 ， 对 该 子 块 反 向 投影 至 上 帧 Pip Q1) 
图 像 中 的 搜索 区 域 ,得 到 其 像素 值 所 属 目标 与 背景 区 域 的 概率 ， A-A 
进而 检测 目标 是 否 被 遮挡 。 若 小 于 遮挡 判定 阐 值 及， 说 明子 块 中 目标 像素 来 自 上 
若 在 t 帧 ， 子 块 q 置信 度 小 于 闪 值 ， 则 该 子 块 的 归 一 化 直 帧 图 像 中 的 背景 区 域 概率 较 大 ， 即 该 子 块 目 标 出 现 背景 遮挡 ， 
方 图 如 式 (17) 所 示 。 其 中 : n 为 子 块 PIERA: GOD 此 时 应 停止 其 模板 更 新 ， 相 反 则 正常 更 新 模板 。 则 子 块 差异 化 
表示 1 帧 时 子 块 4 中 Coy) 处 像素 的 值 (彩色 目标 为 HSV 空间 中 ”模板 更 新 过 程 为 
WERDE, 灰 度 目标 则 为 像素 灰 度 值 ) ; 5 为 克 罗 内 克 函 数 ; 4,50 89A +E Nå, 
u 是 直方 图 bin 值 索引 。 R =0-6 MÊ 十 已 7 站， 
i Ju. P,<P, (2) 
qu)-- 2, 9C, 0.) ud (17) “中 P,» P, 
实际 跟踪 中 ， 由 于 子 块 直方 图 分 量 较 多 ， 如 果 直 接 使 用 全 
部 直方 图 进行 反 向 投影 ， 计 算 量 较 高 ， 而 且 容 易 受到 背景 分 量 。 3 。 实验 与 分 本 
干扰 ; 考虑 到 遮挡 物 及 目标 在 搜索 区 域 比重 较 大 且 像 素 值 变 化 31 实验 参数 与 评价 指标 
缓慢 ， 所 以 采用 直方 图 分 量 较 大 且 空 间 分 布 较为 集中 的 区 域 进 实验 部 分 所 依托 的 硬件 平台 配置 为 : 4.2 GHz 四 核 Core i7- 
行 反 向 投影 ， 选 取 直 方 图 4(w) 中 的 5 个 最 大 分 量 组 成 立 并 分 别 ”7700k 处 理 器 ，16 GB DDR3 内 存 ; 算法 运行 环境 为 
计算 其 空间 散 度 o 。 windows7+MATLAB R2014a. 4rBugifü n. T, 是 根据 初始 帧 目 
E E 标 横 纵 比 并 通过 遍历 视频 库 所 得 到 的 经 验 值 ， 实 验 中 其 值 分 别 
pi 为 1.6 和 0.4; 核 化 相关 滤波 器 参数 与 KCF 相同 ; 目标 状态 估 
H7 lED- 15, E) 7) (18) — 计 过 程 中 粒子 数 为 50 ， 状 态 噪 声 服从 高 斯 分 布 : 
= 二 Tp) C -uC y) -à) V, ~ 10* x N(0.15,0.15,0.01,0.0) ; WFF] E Bi [Ei B 73 0.8. 
m 为 了 对 本 文 所 提 方 法 的 有 效 性 进行 充分 评估 , 采用 文献 [15] 
c, -]V, ll (19) 所 建立 的 标准 评价 体系 , 以 中 心 误差 (center location error, CLE) 
其 中 : m 为 子 块 q 中 所 属 立 分 量 的 像素 总 数 ， 人,y) 为 当前 帧 距离 精度 (distance precision, DP) D K Œ Æ JJ (overlap 
目标 所 在 位 置 的 坐标 。 依 据 o, 从 立 中 选择 空间 分 布 较为 集中 即 “ precision, OP) 为 指标 , 将 本 文 方法 与 多 种 常用 跟踪 算法 进行 了 
空间 散 度 较 小 的 3 个 分 量 构 成 w  ， 并 将 其 反 向 投影 至 上 帧 搜索 。 定性 和 定量 对 比分 析 实 验 。CLE 是 算法 标记 目标 中 心 位 置 与 
区 域 得 到 像素 概率 分 布 图 aay) 。 实 值 之 间 的 欧 氏 距离 ;DP 则 是 CLE 小 于 某 一 设 定 闵 值 (20 pixel) 
itu S. adsl; Ce 用 -四 m 帧 数 占 视频 序列 总 长 度 的 比值 ， 能 够 反映 跟踪 过 程 中 心 点 的 定 


位 精度 ;而 OP 是 指 履 盖 域 (overlap region, OR) 得 分 大 于 设 定 


阔 值 0.5) 帧 数 占 


视频 序列 总 长 度 的 比 ， 在 一 定 程度 上 能 反映 


出 跟踪 框 大 小 与 目标 的 贴 合 程度 ， 其 中 覆盖 域 得 分 计算 为 : 
soes TT, ROSS COMUURRESIES. DONEC FL 
真实 值 。 
32 定性 分 析 实 验 

算法 定性 分 析 实 验 选 取 了 Benchmarkn' 引 测试 集中 的 2960 


帧 视频 序列 ， 包 含 遮挡 、 尺 


景 。 
算法 在 同一 

遮挡 场景 分 析 : 
FEE] EL PL 


区 


在 正 


进行 有 效 跟踪 。 当 


度 放 缩 等 
将 本 文 方法 与 KCF、CSK 等 近 几 年 提 
视频 序列 中 进行 对 比分 析 。 

5 (a) ~ (d) 四 段 视频 均 存 在 不 同 程 
常情 况 下 ， 三 种 算法 均 能 
标 受 到 大 面积 遮挡 
简单 的 灰 度 特征 进行 建 模 ， 容 易 受 到 相似 灰 度 的 遮挡 


PRE 


跟踪 中 常见 的 挑战 场 
出 的 经 典 相关 滤波 类 


` 原 有 标 
时 ， 由 于 CSK 只 采用 了 
TA. 
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从 而 导致 跟踪 精度 的 下 降 , 表现 为 跟踪 框 出 现 严 重 偏 移 , 如 girl 和 girl 视频 。 s 标 被 完全 遮挡 时 ， 由 于 三 种 方法 均 缺 乏 


视频 中 的 432 帧 ; KCF 算法 依靠 多 通道 局 部 特征 样本 的 密 
判别 策略 对 短 时 目标 遮挡 具有 一 定 的 鲁 棒 性 ， 但 


EA 。 对 目标 运 


z JJ 信息 预测 外 


E 力 ， 导 致 跟踪 框 均 锁定 在 置信 图 峰值 


于 该 方法 对 


模板 进行 无 差异 化 更 新 ， 容 易 将 遮挡 物 
现 跟踪 漂移 现象 ， 而 本 文 算法 能 在 目标 被 大 面积 遮挡 情况 下 ， “采用 遮挡 检测 的 模板 更 新 机 制 人 
依靠 未 被 遮挡 子 块 跟踪 信息 


普 误 引入 目标 模板 而 出 


Eos Ti i 
板 容易 发 生 漂移 ， 当 目标 再 次 出 现时 ， 很 难 对 目标 再 次 捕捉 ， 


跟踪 模 


E 够 很 好 地 抑制 目标 


S3 移 能 够 


\ 对 目标 进行 准确 定位 ， 如 ffeeman4 ”对 目标 实现 再 次 捕获 ， 如 football 和 jogging2 视频 


(b)football 


=] 


A 
(d)girl 


(e)walking2 


(f)carscale 
—— Qur ---- KC. es DSST -.--- STC 
图 5 遮挡 及 尺度 变化 场景 跟踪 结果 

250; A 80r- 300. 

[=-= csk m -- CSK =- CSK 

e KCF ji 70| …… KCF Á asol KE " 

一 ou ' 一 ouR H 一 ouR 
0 i Y HA : fI ri PA 

PX H V 200 i Pu, RA, T UA Men 


100 - 200 100 — 200 — 100 | 200 | 
Frame number Frame number Frame number 
(b)football 


(a)freeman4 (c)jogging2 


0 100 200 300 400 500 “各 100 200 300 400 500 
Frame number Frame number 


100 
Frame number 


(d)girl (e)walking2 (f)carscale 


图 6 中 心 误差 及 覆盖 率 分 析 


所 示 。 


tH 有 效 估计 。 


尺度 变化 场景 分 析 : 图 5 中 的 Ceo 和 CO 视频 ,目标 存在 导致 置信 图 不 可 靠 时 ， 无 法 对 目标 的 尺度 变化 作 唱 
明显 的 尺度 变化 ; 在 算法 选择 方面 , 除了 本 文 方法 以 及 KCF 外 ， DSST 算法 依靠 特征 金字 塔 构造 目标 表 观 的 多 尺度 样本 集 ， 采 


加 入 了 有 共 备 斥 度 估计 能 力 的 相关 滤波 类 算法 STC 及 DSST09 进 
行 对 比分 析 。 从 实验 结 
变化 ， 跟 踪 框 大 小 恒定 容易 引入 过 多 背 
标 整 体 特征 而 导致 跟踪 失败 ， 如 walking2 及 carscale 视频 序列 
所 示 ; STC 仅 对 目标 响应 的 置信 图 进行 估计 ， 当 置信 图 较为 可 


Soap 
= 


果 可 以 看 出 ，KCF 方法 未 考虑 目标 尺度 
背景 信息 或 者 无 法 获取 目 


是 对 多 子 块 置信 图 以 及 其 各 自 权 重 进 行 联合 估计 ， 
上 能 减轻 遮挡 影响 ， 如 walking2 视频 中 203 帧 到 


靠 时 ， 该 方法 能 够 较 好 地 感应 


心 误差 


目标 尺度 变化 ， 但 因 遮 挡 等 原因 


图 6 a) ~ CbO 为 遮挡 类 视频 中 各 算法 所 对 应 的 每 帧 中 
线 。 结 合 图 5 可 以 看 出 ， 当 目标 出 现 不 同 程度 遮挡 时 


尺度 相关 滤波 器 实现 最 佳 斥 度 样本 的 筛选 ， 但 当 目 标 表 观 出 
现 遮 挡 时 ， 尺 度 估计 过 程 容易 受到 遗 挡 物 干 捧 ， 而 本 文 方法 则 


在 一 定 程度 
283 帧 所 示 。 
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(依次 对 应 各 视频 序列 的 第 50、270、80 及 432 D , CSK 及 ”波动 现象 。 图 6 (e). CD 为 尺度 变化 场景 中 各 算法 所 对 应 的 履 
KCF 跟踪 误差 出 现 明显 的 增 大 , 而 本 文 方法 则 能 保持 较 好 的 跟 ” 盖 率 曲 线 。 当 目标 发 生 尺度 变化 时 ， 本 文 尺度 估计 方法 虽 比 先 
踪 精 度 ， 但 在 目标 定位 策略 上 采用 随机 采样 的 粒子 滤波 方法 进 ER DSST 略 差 ， 但 在 目标 发 生 部 分 遮挡 情况 下 〈walking2 中 
行 估计 ， 因 此 相 比 其 他 两 种 方法 跟踪 误差 上 存在 较 多 的 小 幅度 。 第 283 帧 ) ， 仍 能 保持 较 高 的 覆盖 率 。 


表 1 算法 定量 对 比 


算法 Football Jogging Girl Walk2 Carscale ClifBar Girl2 Human3 Singerl Lemming Freeman4 Faceoccl 平均 误差 平均 帧 率 


KCF 4042 144.90 10.90 12.79 51.72 37.40 87.22 14.36 65.19 83.93 37.72 21.52 50.68 203 
CSK 59.08 165.94 19.68 5.53 55.74 68.83 169.77 68.73 82.39 114.68 82.64 24.05 75.59 286 
DSST 38.73 127.00 11.00 4.17 21.27 34.32 79.84 19.53 8.08 79.84 49.57 21.81 41.26 85 
STC 89.97 164.69 23.46 4.63 45.79 84.75 143.21 87.10 35.66 98.30 56.95 86.11 76.72 262 
Struck 82.88 120.13 4.24 8.96 80.77 88.11 78.52 56.11 93.20 43.15 41.32 27.88 60.45 21 
Our 22.80 29.30 4.07 3.60 25.71 123.15 4437 10.71 14.50 32.38 28.20 19.60 29.86 38 


3.3 定量 分 析 实 验 
R 1 将 本 文 方法 与 其 他 几 种 经 典 算法 (KCF, CSK, STC, 


= Our [0.890] 


0.9 ==- DSST [0.862] | 

DSST, Struck!) 在 Benchmark 的 12 段 含 有 遮挡 或 尺度 变化 08. /i " TE enn 

类 视频 序列 中 ， 以 中 心 误差 为 指标 进行 定量 分 析 。 让 
从 中 可 以 看 出 ， 本 文 方法 在 大 部 分 视频 序列 中 跟踪 误差 较 p antem 


小 ， 并 且 在 Jogging. Girl2, Walk2 ESHER FS BEJRUAR TZ 
中 仍 具 有 较 好 的 跟踪 精度 ， 但 本 文 方法 并 不 能 在 所 有 视频 中 达 
到 最 优 如 ClifBar, 经 分 析 这 类 视频 中 目标 状态 频繁 发 生 较 大 变 


化 ， 随 着 视频 帧 数 的 增加 ， 粒 子 滤波 算法 在 大 量 迭 代 过 程 中 可 | 
能 出 现 粒子 退化 而 造成 无 法 对 目标 状态 进行 有 效 的 估计 。 算 法 0 W- xui ow € 
实时 性 分 析 方 面 ， 本 文 方法 在 分 块 跟踪 的 基础 上 加 入 粒子 滤波 
a (a) 算 法 距离 精度 对 比 
信 图 估计 及 让 挡 检测 模块 ， 虽然 提高 了 让 挡 场景 中 的 跟踪 精 " | 
度 但 也 增加 了 计算 复杂 度 ,整体 平均 速率 为 每 秒 38 帧 .图 7(a) pm. en 
Cb) 分 别 为 各 算法 的 整体 距离 精度 及 重 芝 精 度 得 分 曲线 。 可 以 a Tes 
看 出 本 文 方法 与 KCF、DSST 在 距离 精度 上 相 比分 别提 高 约 1096 NS ies 
Fn39o, SEHE ENS T DSST. NN 
E 
4 ARE 到 04| 
在 核 相 关 滤 波 跟踪 的 基础 上 ， 本 文 从 多 子 块 联合 置信 图 佑 02- 
计 及 模板 更 新 两 个 方面 展开 相关 研究 工作 。 首 先 依据 各 子 块 置 
信 图 及 其 权重 生成 多 子 块 联合 置信 图 ， 然 后 利用 粒子 滤波 算法 NN CO E 
对 联合 置信 图 进行 采样 ， 并 依据 样本 框 所 包围 形成 的 权 值 密度 
ARS vn Pelo Ir » 人 ) 算 法 重合 精度 对 比 
设 定 粒子 权重 ， 实 现 目标 位 置 及 尺度 的 最 优 估 计 ; 子 块 模板 更 NEN xu 
i DEEE - x 图 7 算法 定量 对 比分 析 结 果 
新 方面 ， 通 过 反 向 投影 法 将 置信 度 较 低 的 子 块 映射 至 目标 与 背 
景区 域 进 行 遮挡 检测 ， 防 止 因 模板 错误 更 新 而 导致 跟踪 漂移 。 . 
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